Objetivos de Aprendizagem
- Analise as limitações dos RNNs e LSTMs no tratamento de dependências de longo alcance
- Defina os fundamentos matemáticos do mecanismo de Autoatenção
- Desmonte a arquitetura de codificador-descodificador Transformer e seus componentes
- Avalie o papel da codificação posicional e da atenção multi-cabeça na modelagem de sequências